Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
认知结构多模态 Agent：带情景视觉记忆的长时对话理解、生成与编辑
🧭 多模态 Agent · 认知记忆结构 ★ 深度解读
Peking University · Tencent Inc. (WeChat Vision)
将视觉历史外化为结构化记忆并选择性检索，8B代理在20轮多模态对话中检索准确率达91.4%，超越32B统一模型且推理时间减半。
📌 工作参考价值（4 点）
- 显式情景记忆管理 & 按需检索：将视觉信息压缩为结构化条目（标签、描述、缩略图）存入外部记忆库，仅检索相关片段注入上下文，可迁移到推荐系统中长序列用户行为建模，避免将所有历史行为塞进模型窗口，降低计算开销并提升跨轮引用准确率。
- 解耦的多模块架构与独立优化：感知抽象（PAE）、检索（CoRE）、任务执行（MEC）互相解耦，支持分别进行SFT和RL训练，并且PAE的优化直接以下游检索成功为奖励，而非独立的描述质量指标。在电商Agent中，可将商品图片理解、意图识别、工具调度分离，各模块可独立迭代。
- 分阶段SFT+RL训练策略：先SFT训练检索器，再通过RL（DAPO）提升检索精度，最后冻结检索器用RL优化记忆写入，形成闭环。推荐系统中的长期兴趣编码、记忆压缩等模块可借鉴：用任务奖励直接优化压缩策略，避免中间指标偏移。
- 工具增强的CMA-Harness部署框架：将执行控制器扩展为工具调用中枢，集成搜索、图像生成/编辑、布局拼接等17种工具，并利用多域持久记忆（会话、用户偏好、素材库）实现跨会话复用。对于搭建商品图合成、营销素材生成、客服视觉问答等Agent应用有直接参考价值。